Trương Hiến Trung đưa quân nam hạ, liên tiếp hạ được Lư Châu[3], An Khánh, Hòa Châu, Trừ Châu, rồi men theo Trường Giang đánh đến Giang Tô, không ai địch nổi. Sau đó lại đưa quân về phía tây, vượt Anh Sơn, Hoắc Sơn, cùng bộ đội của Mã Thủ Ứng hội sư ở Ma Thành, Hồ Bắc. Tiếp theo, từ Hồ Bắc tiến vào Hà Nam, lại tiến vào Thiểm Tây, từ Thương Lạc đánh ngược về Quan Trung.

Trương Hiến Trung di chuyển hàng ngàn dặm, chợt đông chợt tây, nhắm vào sự liên kết yếu kém của quan quân các nơi, phá vỡ kế hoạch vây hãm và tiêu diệt nghĩa quân ở Trung Nguyên. Trương Hiến Trung quay lại Quan Trung, cùng Cao Nghênh Tường hội họp ở Phượng Tường. Lại cùng quan quân do Binh bộ thượng thư Hồng Thừa Trù thống soái tiến hành mấy lần giao chiến ở Thiểm Tây; đại tướng thủ hạ của Hồng là Ngải Vạn Niên, Tào Văn Chiếu đều bị nghĩa quân chém chết, quân triều đình tổn thất nặng nề. Nghĩa quân sau đó nhắm thẳng vào Hà Nam.

Đầu năm Sùng Trinh thứ 9 (1636), lực lượng nghĩa quân phát triển lớn mạnh đến mấy chục vạn người. Khi hội quân ở Hà Nam, thường đóng trại liên tiếp đến trăm dặm, riêng bộ đội của Trương Hiến Trung có đến hơn chục. Tháng 9, Cao Nghênh Tường không may bị phục kích, bị bắt và bị giết. Phần lớn nghĩa quân theo Lý Tự Thành chuyển đến đánh khu vực phía tây Đồng Quan, Trương Hiến Trung đưa bộ hạ tiếp tục vây đánh khu vực phía đông Đồng Quan, giao chiến ở Ngạc, Dự, Hoàn, nhiều lần đánh bại quan quân. Ông tập kích Hứa Châu, giết anh trai của Tả Lương Ngọc, giành được một lượng lớn vật tư. Tháng 3 năm Sùng Trinh thứ 10 (1637), giết chết tướng lĩnh nhà Minh là Phan Khả Đại trong một quán trọ ở An Khánh.

Tháng 10, Binh bộ thượng thư, Nội các đại học sĩ Dương Tự Xương bày ra những kế hoạch tiễu trừ nghĩa quân như "tứ chánh" (4 đích), "lục ngung" (6 cạnh), "thập diện trương võng" (10 mặt giăng lưới), do các cánh nghĩa quân không được thống nhất chỉ huy, đến mùa xuân năm năm Sùng Trinh thứ 11 (1638), họ lần lượt bị bẻ gãy. Lý Tự Thành gặp nhiều thất bại ở Thiểm Tây, nhóm Lưu Quốc Năng quy thuận triều đình ở Hà Nam, Trương Hiến Trung cũng rơi vào hoàn cảnh hết sức khó khăn.

Vào lúc Trương Hiến Trung tập kích Nam Dương, bị Tả Lương Ngọc đánh bại, bản thân cũng bị thương, may được bộ hạ là Tôn Khả Vọng ra sức cứu thoát, đưa quân chạy về Cốc Thành[4]. Nhằm bảo tồn thực lực trước thế công dữ dội của quan quân, Trương Hiến Trung ở Cốc Thành, La Nhữ Tài ở Vân Dương đã tiếp nhận sự "chiêu an" của Binh bộ thượng thư Hùng Văn Xán. Dù vậy ông cự tuyệt việc sắp xếp phân tán nghĩa quân của triều đình, không nhận quan hàm, giữ vững quyền độc lập của mình.

Trương Hiến Trung đến đóng quân ở Vương Gia Hà, đổi tên thành trấn Thái Bình, chia 4 vạn bộ hạ làm 4 doanh, cho 4 viên đại tướng thống lĩnh. Trong thời gian này, ông không ngừng tích cỏ trữ lương, chế tạo quân khí, chiêu binh mãi mã, huấn luyện sĩ tốt. Trương Hiến Trung còn thường xuyên giảng dạy "Tôn tử binh pháp" cho mọi người kết hợp với thực tế chiến trường, chờ thời cơ quật khởi.